L’espressione “human in the loop” è diventata una delle formule più utilizzate per rassicurare sull’impiego dell’intelligenza artificiale in sanità. Ma la semplice presenza di un essere umano nel processo non chiarisce quando debba intervenire, quali informazioni debba possedere per correggere la macchina e chi mantenga la responsabilità quando un output sbagliato entra nella pratica reale.
A provare a rendere il concetto più operativo è un framework pubblicato il 9 settembre dal Journal of Hand Surgery. Il lavoro riguarda specificamente la chirurgia della mano, dove strumenti AI vengono già sperimentati nell’interpretazione delle immagini, nella previsione degli outcome, nella comunicazione con i pazienti e nella documentazione clinica.
Ma i quattro principi individuati dagli autori hanno una portata molto più ampia e possono essere applicati anche ai sistemi AI attraverso i quali l’industria farmaceutica si prepara a interagire con medici e altri professionisti sanitari.
Il punto di partenza è netto: secondo gli autori, l’adozione sta procedendo più rapidamente della validazione. Molti strumenti vengono testati su dati simili a quelli utilizzati per addestrarli, entrano in workflow che non sono stati sufficientemente auditati e raramente vengono misurati nuovamente dopo il deployment.
Da qui quattro condizioni. La prima è una validazione esterna sulla popolazione che il sistema incontrerà realmente. La seconda è una comunicazione trasparente dell’intended use e dei failure mode conosciuti. La terza riguarda la definizione preventiva di percorsi di escalation quando il professionista e l’algoritmo non concordano. La quarta è un audit prospettico dopo l’introduzione nella pratica.
Trasportate nel mondo pharma, queste quattro regole pongono domande molto concrete.
Un medical chatbot destinato agli HCP è stato validato sulle domande che gli specialisti fanno realmente oppure soltanto su test preparati dal team che lo ha sviluppato? Quali sono le query per le quali non dovrebbe rispondere? Cosa succede quando una domanda entra nell’off-label, quando il sistema non trova evidenze sufficienti o quando il medico contesta la risposta? Quanto frequentemente viene verificato che le performance siano rimaste quelle osservate al lancio?
“Dire che c’è un uomo nel loop non significa ancora avere un sistema governato”, sottolinea Francesco Maria Avitto, Direttore editoriale Homnya.,“Dobbiamo sapere in quale punto l’uomo entra, quali segnali fanno scattare l’escalation e soprattutto se chi deve controllare l’AI dispone delle informazioni per capire quando sta sbagliando. Altrimenti rischiamo di avere una supervisione umana puramente formale, nella quale la persona finisce per validare automaticamente ciò che propone la macchina.”
È un rischio noto negli studi sull’automazione: più un sistema appare affidabile, maggiore può diventare la tendenza dell’utente ad accettarne le indicazioni senza verificarle. In un’interazione destinata a un HCP, la trasparenza sui limiti assume quindi anche un valore di user experience.
Un sistema che mostra chiaramente le proprie fonti, la data di aggiornamento, l’ambito nel quale è stato validato e la possibilità di passare rapidamente a una persona reale può generare più fiducia di uno strumento apparentemente più fluido ma opaco.
Per Medical Affairs significa ripensare alcuni criteri di progettazione dei servizi digitali. Finora una buona esperienza utente tendeva a eliminare attriti. Nell’AI medicale alcuni “attriti” possono invece essere necessari: chiedere una conferma, segnalare incertezza, impedire una risposta, rinviare al Medical Information o richiedere una verifica umana.
La capacità di non rispondere può diventare una feature
Il tema riguarda anche la rete sul territorio. Se MSL e informatori inizieranno a ricevere suggerimenti da sistemi di next best action o insight engine, dovranno sapere quando un’indicazione può essere utilizzata e quando invece deve essere messa in discussione. E l’azienda dovrà essere in grado di ricostruire perché quella raccomandazione è stata prodotta.
Il paper nasce da una specifica disciplina chirurgica e non è una guideline regolatoria. Ma individua un principio utile per chiunque stia progettando AI destinate ai professionisti sanitari: la responsabilità non può essere delegata alla macchina e non può nemmeno essere scaricata genericamente su un umano collocato alla fine del processo.
Bisogna progettare in anticipo dove l’automazione finisce.
